U.S. Patent Application based on PCT/EP98 /057 93 

i - - - 

Summary of DE 195 30 647 CI 

DE 195 30 647 CI discloses a method of processing an input 
parameter for a neural network. DE 195 30 647 CI teaches the 
addition of data into time series of neural networks and the 
improvement of noisy data. On the basis of known measured 
values from a time series and a predetermined error 
distribution, error distributions are calculated for the 
values to be added. From theses error distributions, samples 
are derived using a Monte Carlo method. From theses samples, 
the data to be added to the time series are derived. 

DE 195 30 647 CI represents technological background with 
regard to the use of neural networks. It does not disclose a 
method for detecting the modes of a dynamic system with a 
drift segmentation model as claimed in the above U.S. patent 
application . 
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> Verfahren zur Auffaaroitung einer EingangsgrSBe fflr eln neuronafee Nstz 

) Duroh daa arflndungsgem&Sa Varfahren werdan Wage 7 
aufgezeJgt, fahlanda Datan In ZaitoJhen von rtauronaJen 
Natzan zu erganzen, Oder varrauschta Datan zu varbeasern. 
Hlarzu warden anhand dar bekanntan MeSwarta aua dar 
Zettraiha und daran bakanittar odar vorgegebenar Fehiarvor- 
taflungsdlcht* ffir die fehianden Werte FehlarvBrtelhinga- 
dtehtan berachnet uad gem*& dar Monta Carfo Mathoda aua 
dteaar Fehlarvartalkingsdichte Proban gezogan, dla zu ja 
atnam prognoatfefartan Wait fGhren, daran Mtoelwert fflr 
dan zu prognoatizSaranden Wart eingesatzt win*. Daa Ver- 
fahren kann dabei aowohl fflr dan Betriab, als auch ttir das 
Training der Natze varwandet werdan* Efnaatzgebiets dar 
Erfindung Uagan aof ailan bakanntan BnaatzgabJatan nauro- 
nalar Natza. 
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Beschr eibung 

DieErfmdungbeziehtskhaiif einVcrf^^ 
<L h. zur nenronaien ModelGerung von dynamischen Prozessen, von denen insbesondere unvoBstnndige oder 
scMcchte Mefirdhea vor&egen, 

Neuronale Netze Gnden in cfie vielOItigsten technischen Gebiete Eingang. Obendl dart, wo es gilt, ana 
komplexen t ftfhrciyrhg " Zusammenhtagen and aus unznrachendeB Laformktianen Entscheidiragcn abzuldten, 
erweisen sich neuronale Netze als besonders geeignct Zur BBdtmg einer oder mehierer ArogangsgroBen 
weiden dem nenronaien Netz bexspielswcise cine oder mefarere BngangsgrOSen zugefQhrt Hiwzu wind ein 
*lm+w -wmXfhv* ffif *W qpmrilm Ehrmtgffail trahrierL Neuronals Netze erweiscn sich fflrvifilc Einsatzftl- 
le ab besonders geeignct, da sie miivei^c Approximatoreasind 

Eia haufig auftretendes Problem im Ztuammenhang mit dem Emsatz von neuroualen Netzen besteht aller- 
dings darin, dafi hitufig die Emgangsdaten znm Traming; oder beira Betrieb des Netzes nicht voflstaiidig sind. 
Dieser Sacfrverhalt usd auch die Tatsache, dafi die MeBwerte fQr den Aufbau einer Zehreihe, welche dem 
neuroualen Netz zugefQhrt wird htofig ungenau oder verrauscht sind, bewirkeu, dafi teilweise schlechi Lerner- 
gebxusse dcr Netze erzielt werden. 

Aos dem Stand der Technik mod verschiedene AufberatungsmSgfichkeiten IBr EjngaiigsgroSenbekaxmt In 
der Palentschrift DD266661 Al ist eine Schaltungsanofdimng zur Approximation von Meflwe rtfolg en be- 
schrieben, bei der das Problem der Datenverarbdtung von verxauschten Mefiweiten in Echtzeit dadurch gelost 
wird, dafl eine Approximation Cber (Be Schatzung der ZustandsgroBen erfolgt Unbekamte GrOfien werden 
dabei nach dem Prinzip der roaximtHn^ikelihood ermtttelt Aus der europaischen Patentanmeldung 
EPOS 04 457 Al ist em Verfahren zur Ermittiiing der Wahracfaeinlicfakeiten fehlender BetriebsEast9nde bei 
tecfanischen und biotogischen Systemen unter Verwendung von SnzelereigniswabrscbemEchkeiten bekannt 
Doit werden die WahrccheinBchkeiten fehlerhafter Betriebszustinde eines tecfanischen oder bidogischen Sy- 
stems dadurch enmttdt, daB ein allgemeiner Interpolationssatz fQr die Kx>nsUtution einer Vielzahl v<ra Interpo* 
lationsfonnein fQr Wahrschdnfichkeiien einer dort angegebenen bestimmten Form angegeben wild. Aus der 
deutschen Offenlegungsschrift DE 42 41 812 Al ist ein Verfahren zur adaptivenQ^ 

werteberadiea bekannt Zur adaptive* Quantisieriing eines Emgau^wei'tebcreiches von Eingangswerten eines 
Redmers wird dort die Anwendimgen ones Histogranmidichteschaiz^ vorgeschlagcn* Dabei weiden 

die * ffn g an ffw'tt' < g eingeiesen und einer Qnantisierung des Euigangsweitebereiches ztigeordnet, wonach ana der 
Verteilung der Eingangswerte eine Dirfatffi<fr ft f yw r r l fl i F il 't fo^ errechnet wirdl welche in eine monoton steigende 
AbbiMungsfuiiktion transformer! wird 

Andere MogGchkeiten der Anfberehung von Eingangsgrofien sind derzeit aus dem Stand der Technik mcht 
bekamit 

- Die der Erfindung zugrundefiegende Aufgabe besteht darin, ein Verfahren anzugeben, mh dem die Qualitflt 
von zehfich nachdnander anfaUendeu EingangsgrdBen eines nenronaien Netzes verbessert werden kann. Insbe- 
sonderesoQendurchdas erfindnngsgemlfie Verfabren fehlende nod verraiachte D aten ergfinz t werden. 

Diese Aufgabe wird gemftB den Merkmalen des Patentanspnicbs 1 gdosL 

WgtterbiH^wgg" d^y B rfiftrf«ng ergrfian aneh mis den ahh&ngjgen AnsprflcheiL 

Bin besonderer VorteO dea erfindnngsgemSBen Verfahrens besteht daiin, dafi ausgenntzt wird, daB die 
fehlenden Werte oder die verranschten Werte, welche den aeuronalen Netz zugefQhrt werden solfen, Bestacd- 
teil dner Abfolge von Werten in der Zehreihe sind. Vortealhaft kann die bekannte Fehleiverteilangswahrtcheinr 
lichkeit der restBchen Werte dazu benutzt werden, urn fQr den fehlenden Wert nach dem erfindungsgemSfien 
Verfahren eine erwartete FeUerverteilcing und dannt den erwarteten Wert berechnen zu kdnneo. 

dkistigerweise kdnwgn nach dem erfind ung s gem SBen Verfahren anch fe hlen de Werte* die in der Zehreihe 
benachbart sind besthnmt werden. DafOr ist ein iteradver Vorgang vorgesehen, der eimnal den ei nen We rt 
berechnet und danach den anderen mh den aos dem einen Wert gewonnenen Daten ennittelt Gtastigerwdse 
kann dieser Iteradonsvorgang auch mehrfach durchgefQhnwenlen,damiteine himeichende Genauigkeit der zu 
bestinnnenden Werte gewahrteistet ist 

Besonders ^™ mr h 4*™ «*rfi^fw g¥gwmgg en Verfahren auchehi neuronales Netz tnuiiiert werden, welches 
die Zehreihe nachbifden $oQ,dadabd vorteilhaft die Leni«±rittweite anf die Zahl der gezogenen Monte Carlo 
Proben bezogen wird. 

Gunstigerweise wird fQr das Pehlerverfaalten der vorhergesagten Werte der Zritreihe erne GauBverteilung 
angenommen, oder festgelegt da dies eine Verteihing ist, welche pnodsnaben Werten weitestgehend entspricht 

VorteHhaft werden einfache nnmerische Verfahren beim crfindongsgcmSflen Verfahren etngesetzt; tun feh- 
lende Werte bestimmcn zu kdnnen bzw. urn einen kOnfdgen Wert in der Zettrdhe mit fehlenden Werten 
varhersagen zu k5nnen* 

Vorteilhaft weiden nach dem ernndungsgemafien Verfahren emfatche mathematisehe Methoden angegeben, 
mn MeBwerte entsprechend aufberetten zu konnen und damit das neuronale Netz trainieren zu konneo. 

Besonders vorteilhaft weiden Methoden angegeben, urn verrauschte MeBwerte aufzuberciten, bzw. am 
MeBwerte aufzubereiten, welche eine bekannte und eine onbefamnte Rauschfcomponentc enthalten, am damit 
das neuronale Netz anf einfaehe Weise und effizient trainieren zu konnen. 

Im folgenden wird die Erfindung anhand von Figuren weiter erAutert 

Figi lzeigteme2^eitreihe; 

Fig. 2 zeigt eine Zehreihe und ein Systemverhalten, 

Fig, 3 zeigt ein neuronales Netz wdches traimert wird. 

Big; 1 zeigt eine Zdtreihe von MeBwerten, welche bdspiebweke dnem neuronalen Netz zugefQhrt werden 
fconnen. GemaB ihrer zeitfichen Abfolge werden diese MeBwerte beispielsweise von etnem tedmischen System 
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erfaBt und gemfiB ihrcr zeitGchen Abfolge mit yt bis y t -s bezeicbnet Die dargesteHten Pfefle zwischen den 
einzelnen KL&stchcn symboGsierea die Abhftngigkeitcn der verschiedenen Werte unter einander. Beispielsweise 
wird in Fig; 1 davon ansgegangen, daS der Wert y t -2 feblt Die im Markov blanket relevanten Werte, ab 
benachbarte Werte dieses fehlenden Meflwertes, sind yt-4t Yt-x und yt. En solch fehfender MeBwert in 
einer Zeitreihe kann beispielsweise daduxch entstehen, daS zum fraglichen Zeitpunkt das MeSgerit, zur Werte- s 
aufnahrne nicht funktionierte, oder daB es zwischen einzelnen gemessenen Werten gtinstig erscheint, am das 
neuronale Netz besser zu tramieren, dtesem einen weiteren Wert zuzufuhren, der folgSch noch zu bestimmen 1st; 
also nach dem erfmdungsgemiiBen Verfahren erzeugt werden soIL 

Fig. 2 zeigt Zeitreihe aus Fig* 1 in Verbtnduug mit einem neuronalen Netz NM Esistzn erfcennen, dafi y eine 
zeitabhlngige VariaUe darstellt, welche das Systemverhalten SY eines technischen Systems repr&erttiert Wie to 
erkannt werden kann, entsprechen die Werte yt bis yt-6 MeB werten, welche dem Systemverlattf SY entnommen 
werdea, Durch die gestricbelten PfeHe zu den jeweffigen Zettpimkten ist symboltsiert, daB diese MeBwerte dem 
neuronalen Netz NN beim Betrieb oder beim Training zugefuhrt werden sollen. 

Wie auch in Fig. 1 ist der fragfiche MeBwert M fur den Zeitpunkt y t -2 nicfat vorhanden. PGr diesen MeBwert 
M ist seine Wahrscheinfichkehsdic&te e angegeben. Diese Wahrscheinfichkehsdicbte z kami beispielsweise nach is 
dem erfindtmgsgemiBen Verfahren ans emer vorgegebenen bekannten Feblerverteibmgsdichte der flbrigen 
MeBwerte ruckgerechnet werden. Insbesondere wird dabei ausgenutztdafi sich der fehlende MeBwert zwischen 
zwei bekannten MeBwerten befinden muB und darnh auch dessen Fehler darcb die Fehler der benacbbarten and 
der restGchen MeBwerte der Zeitreihe begrenzt word. Die zngmndefiegende Zeitreihe $fit sich wie folgt 
beschreiben: 20 

yt ** 8{yt-i.yt-a.-.*yt-K) + st (t) 

Dabei ist f entweder bekannt oder wird hinrefchend dnrch ein neuronales Netz modelEert ct bedeutet dabei 
einen addhiyen onkorre&erten Fehler mit zeitlichem Mitteiwert (X Dieser Fehler weist dabei und das ist fQr das 25 
erfmdungsgema&e Verfahren essentiell eine bekannte oder vorgegebene Wahrschemfehkeitsdichte P 8 (s) auf 
und vershinbildlicht typischerweise die unmodeflierte Dynamik der Zeitreihe. Beispielsweise soil fur cine solche 
Zeitreihe, die nach dem erfindungsgein&Ben Verfahren komplettiert werden soli, ein ziikunftiger Wert vorherge- 
sagt werden. Dabei ist zu beachten, daB zukOrrftige Werte relativ za der momentanen gewthken Zeitposition zu 
verstehen and Das beifit fur einen Zeitpunkt y t _s ist der Zeitpunkt yt-4 ein zukfinftiger Wert Unter diesen 30 
Voraussetzungen IfiBt sub (fie bedingte Wahrecheinlichkeitsdjchte fflr einen vorherzusagenden Wert der Zeitrei- 
he wie folgt beschreibea. 



P(yt|yt»iiyt-ap».,yt-M) - P«(y - (Ft-!,yt-a,...,yt-N)) (2) 

Wie bereits erw&hnt muB die Fehierverteihmgsdichte bekannt sein. Diese VerteOungsdichte kann entweder 
anhand des Systemverhaltens und bekannter anderer iuBerer GrdBen ermrttelt oder vorgegeben werden. Eme 
typische Fehlerverteflun& die in der Praxis auftritt ist die GauBverteihmg; Mit emer solchen angenommenen 
GauB'schen FehlerverteOung liBt sich <Ee bedingte WahrschemlichkeUsdichte wie folgt beschreiben: 

P^t|yt-uyt-i-..,yt-N>- G(yt;fOrt-u....^-NX<» 2 ) (3) 



35 



40 



Darin bedeutet G (x; c, a 2 ) die Notation fur eine nomiale Didbte, die bei x bestimmt wird mit einem 2^entrum C 
und emer Varianz a 2 , Geht man davon aus, daB das zu beschreibende S^tem in Form einer Fof ge von Werten 
auf einer Zeitachse dargesteUt wird, so kann man die einzelnen Werte von yt auch ab ZufaUsvariable hi einem 45 
probabiSstischen Netzwerk aufFassen. Dabei liegt der Erfmdung das Problem zugrunde, einen Wert der Zeitrei- 
he vorhcrzusagen, mdem die vorhandene Information aus den restlichen Werten mfiglichst vofistSmSg verwea- 
det wird Unter Voraussetzung der Annahmen» die zuvor gemacht wurden, ISBt rich die gesamte Wahrscheirdich- 
keitsdichte der Zeitreihe wie folgt beschreiben: 



t=fM 



55 



Dabei wird davon ausgegangen, daB y t -~k mit k ^ N der fehlende Wert ist Vorausgesetzt, daB y 11 — {y t -k} und 
y" 99 tyt-u yt-k-N}\{yt-k} g3t kann der erwartete Wert der in der Zeitreihe Torherzusagen ist wie folgt 
beschrieben werdem 

E(ytiM t -t)- J^t-i f .^,yt-b^.,y t ^N)P(y°|y^d^ (5) ao 

Dabei gel ten folgende Voraussetzungen: 
Mt-i steht fur aBe Messungen bis zum Zeitpunkt t— L Die voranstehende Glekhnng ist die gprundlegende 
Gleichung fflr die Vorhersage mit fehlenden Datett Dabei ist besooders zu beacbten, daB die Uhbekannte y t -k 
mcht nur von den Werten der Zeitreihe vor dem Zeitpunkt t — k abhingt sondern auch von den Messungen nach 65 
t-k. Der Grund besteht darin, daB die Variablen in XJ y t ein minimales Markov blanket von yt-k formen. 
Dieses mmimale Markov blanket besteht aus den chrekten Vorfahren und den direkten Nachfahren einer 
Variable und alien direkten Vorfahren von Variablen des direkten Nachfolgers. Im betrachteten Betsplei in 
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Fig* 2 sind die direkten Nacbfahren yt - yt-k+uDieclfektenVorfahrensi^ 



yt_k_t-..yi-k-M 



10 



15 



yk-l*.*yt-k-M-K 

Am den theoretischen Grundbgen ist befcawt; daB eine Variable unabhflngig von dner anderen VariaMen 
dieses Netzwerkes ist, wenn die Variablen inncrhaJb des Markov blankets bekannt sind. Deshalb wird die 
bendtigte bedingte Dichle ans Gfekhung (5) wie folgt bestimmt: 

Wy^ocP<3ft-ilyt-a..--,yt-i-H) 

x P6ft-2|^^.--,yt-fc-.-,yt-2-N)-.F»-k|^-k-i,.-.-yt-k-iO PbX 

Der bier beschriebcne Fall ernes fehlenden Mefiwertes kaim aucb ofane Bes chr S nkung der Erfindimg anf 
mehrere nebeneinanderSegende fehlende MeBwerte ansgedehnt werden. Falb dies der Fall ist, muB beispiels- 
wmc nacb dem CTfindnngsgfimitfen Verfafaren mnachst der eine Wert anhaad seiner Nacbbam und Eton mid. 
Vbrfahren bestimmt werden and mh cfiesem bestimmten Wert dam der weitere Wert enmttelt werden. Dies 
20 kann solange bin- and hergehen bis erne binmchende Genauigkek errekht winL FOr <fiesea FaH gilt: 

y" C fcrt-t»yi-*.-.»yt-«} (5c) 

FOr flllff fehfftndffffi WfTt* 7pjtrftihe xwisrhftn Hwn Zeitpnnktt— 1 und R wobei weiterhm git; 

25 

y^S fri-iiyik-a— *y\\ (5<ft 

welcbcc&eZabl alter MeBwerte biszum Zdtpunktt—lixprSsMitiert Aucb gilt 

30 Ity'ly^ar^t-h.-.y&yi) (5e)i 

wobei die recbte Sate in (5e) aus deicbuitg (4) erhaiten wird Im allgemeinen and cfiese Integrate in den 
ywapsteheaden GfpjcW em flfr d»e Fnnktion Ift falls dies erne nichtfineare Fonktion ist nkfat anatytiscfa fosbar. 
Details fQr die oumerische Ldstmg mit HOfe der Ziehung von Monte Carlo Proben werden im Zusammenbang 
35 mit Fig. 3angegebetL 

F5g. 3 zeigt zwei ReprSsentationen eines neuronalen Netzes NN1 mid NN2L Zum einen kann dies so aufgefaBt 
werden, daft NN1 zum emeu Zeitponkt voriiegt und NN2 zu dnem anderen Zeitpunkt, es kann sicb aber aucb 
nm zweikomplett verscMedene neoronale Netze bandeln. Es smd zwei Datenleitungen dargestellt, mh welchen 
die neuronalen Netze kommunizteren kCmien, ira Falie cdner Identitat der beiden Netze sind damit zeitfch 
40 aufemander folgende Austauschvorgange gememt NN2 gibt Dates fiber die Datenstrecke 100 an NN1 wetter. 
NNi gibt Daten fiber die Datenstrecke 150 an NN2 wexten Die etnzdnen Werte der Zehreibe, wdche in Fig- 1 
nnd Fig: 2 dargesteflt sind, gmd drr RS«ifanhli«.it halhgr hicr nfcht mehr dargesteltt Es ist zu beacfaten. daB iedoeb 
weiterbin cfie Voraussetzimg fQr die anderen Fignrengelten, 

Beim Training des Netzes mit fehleanden Daten gdtenbeispielsweise folgende Ztfsanwnenbange: FQr den Fall, 
45 dkBy t ,...y t m6gIicto Werte di^Zeitr^ 

fan, . . - , y£ \ y™ atte unbekannten Werte bezefcbnen. Das neuronale Netz, welches die Fonktion f modelliert, 
werde beispidswdae mit einem Satz von Gewichten w parametrisierL Dann g3t: 

S^yt-u-.^yt-N) « NN w (yt-i,---.yt-H) 

50 • 

Es w«n ohne Beschrinkui^ der Er&ndung jedoch aucb dn anderer bekaxmter parametrisierbarer Funktions- 
approximator verwendet werdeiL Die logaritimnsche WahracbeinEcfafeeitsfunktion, aucb log Ukeffltood Funk- 
fion genannt, lautet danxu 

55 L -k^JI^^yt^i— •y^yOdy 0 

wobei dann die gexndnsame Wahrscheinlicbkeitsdicbte sichzu 

• t=«+l 

approxindert und fDr das neuronale Netz folgender Zusammenhang KSr die Berecbntmg der Fefaferverteaimg*- 
0 cScbtegih: 

i^|y t .i 1 yt-2 ( -..»yt-H)*Pe(yt-NNw(yt-uyt-i.«,yt-ii 00 
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Ftir das Lernen mit Hilf e von Backpropagation, Oder anderer gFadientenbasterter Lernalgontfainen wird mm 
nocfa dcr Gradient der logarithmischen Wahrschenolichkeitsfunktion ben&tigt, welcher rich zu: 



ergibt Es ist anzumerken, dafi hierbei von bekannten Ausgaogsbedingungen fGr yt, . . . , yN ausgegangen wird. 
FQr den Fail, da8 eine GauBverteilung fdr die Fehlerverteiiung vorQegt ergibt sich daraus: io 

f^-tfa -NN w (y M .^, yHf )) 3NN ' (y ^"" yH<) fy" I y*W™ (8a) 

IS 

wooc^y 0 ® ~y° n {yi, . . . yi_ n} die f ehlenden Werte f&r die Eing&nge des Netzwerkes darsteilen und (8a) zeigt, 
daB foils aSeyi-.-yi-N bekanm sind, das Integral verschwindet 

Falls die MeBwerte von einera zusatzlichen Rauschen Qberlagert werden ergeben sich (fie fblgenden Zusam- 
menh&nge* Beispielsweise gilt wieder: ^ 

yt - f(yt~-i*yt-2.... jfit-K) + * 

In dieser Variante der Erfindung soil jedoch kein direkter Zugriff auf y t bestehen. Anstatt dessea wird die 
Zeitreihe 25 

*t - yt + V 

geraessen, Darin bcdeotet St ein unahhfrrigiges Rauschen mit Mittelwert Null Unter der Vbranssetzung, daB z — 
{z t - - .zt-if und y « Jyi . . . yt[ gelten, ergibt sicb die GesamtwahrschemHehkeitsdicbte zu: 30 

C f 

P<y,z)^P{y K -^.yi)IIP(ytJyH — WlI^Yi) <a*>> 

W« 1=4 35 

dacnit laBt sich die Rechenvorscbrift fur den erwartetcn n&chsten Wert der Zeitreihe angeben 
Efyt\x - Jftyt-i f -.-»yt-^rXyt^u....yt-K|2)dy t -i-,.dyt-M (9) 

40 

Ebenso kann der Gradient der Wanncbeinfichkeitsfunkdon fur das Training berechnet werden. FQr den Fall 
dad eine GauBverteilung des Rauschens mit 

vorliegt; ergibt sich: 



45 



!r- £ Jcy, -NN fv y' ndNN-fr-— 

3w tS&'Vi v «-*» 3w so 

Dem neuronafen Netz werden bei einer Variante des erfindungsgemlfien Verfahrens beispielsweise Werte ss 
zugefQhrt, die verrauscht oder mcbt genau bestimmbar sind Durch die Approximation der Gewicfate tm 
neuronalen Netz werden dabei fiber die Funktion U welcbe dabei durch das neuronale Netz nachgebildet wird, 
nene Werte der Zeitreihe bestknmbar. Diese neuen Werte der Zeitreihe werden fan AnschloB Qber die Daten- 
strecke 150 dem weiteren neuronalen Netz NN2 zugef&hrt; welches daraus wiederum durch Nachbikhmg der 
Funktion f neue Werte der Zeitreihe bestimmt Dieser iterative Vorgang wird solange fbrtgesetzt, bis eine 60 
hinreichende Genauigkeit der zu bestimmenden Werte erreichtwird 

Zur genauen Besnxnniung f ehlender Werte mit Hitfe der Monte Carlo Methode wird von folgenden Grundla- 
gen ausgegangea Es ist bier zu beachten, daB afle L5sungencfie Fbrm 

/h(iyn)P(ujm)du (9b) 65 

aufweisen, wobei u den Satz von unbekannten Variablen and m den Satz von bekannten Vaiiablen bedeutst Ein 
Integral dieser Form kann beispielsweise geldst werden, indem Zufalisproben der unbekannten Variablen 
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gera&B F(u | m) gezogen werden. Bdspidsweise werden <fiese Proben nut u 1 ,..., u« bezeichnet Daraus crgibt 
sichfblgeiiderZusam^ 

I 1 s 

Jh(u;m)P(irfiii)dii« ~£fc(«\i»>. (9c) 

Es ist zu beachten, daB in <fieser CHeichung a den Wot yt- b wdcher fehlt, entspricht. Mit dieser erfmdungsge- 
mflBen Ldsung reduziert rich das Problem also darauf, aus P(u | m) Proben zu ziehen, Fflr den FaD, daB lecBgfich 
due Variable fchlt reduziert skft das Problem also auf das Probenziehen aus einer erarariableu Vertdhmg, 
wdt*e mit HOf c des ^mpKngtmpnrtamM ^MtnplTn g* oder anderen sampfing-Tedmiken [1] getan werden 

""fSt dim Fall daB mehrals em MeBwert fehlt. wind die Situation etwas kompfirierter. Der Grand besteht darin, 
daB die nnbekannten Variablen in der Regel voneinander abhangen and dafi von der Vertdhmg afler unbekann- 
ten Variablen gezogen werden muBL One aflgemdne Lftsung dafflr gibt das Gibbs-Sampiing [1] an. Bern 
Gibbs-Sampiing werden die uiibekannten Variablen mit ZufaHswttten, oder besser mit geschatrten Ansgangs- 
werten inWalisiert. wdche beispielsweise aus den benachharteu Werten der fehlenden Werte abgdeilet werden 
kdnnen. 1m Anschlufi wild ejne der nnbekannten Variablen i* ausgewahlt and erne Probe von P(m|nvL\iu) 
gezogen; dann wird m auf diesen Wert gesetzt ben Anscblufi wild die Prozedur fur die nachste unbekannte 
Variable wiederholt ow, Abgesehen von beispielsweise den ersten Proben werden die Proben vorzugsweise mat 
der korrekten FeWenrertdlungsdichte gezogen. Dies bedeutet jedoch, daB fur alle Unbekannten, die jemals in 
der Zeitreihe aunxaten, Proben gezogen werden mflssen. In der Praxis kann aber beispielsweise das Zdtfenster 
aus dem Proben gezogen weiden auf eine vernunftige GidBe beschrankt werden. Beispidswdse kann diese 
Gr56e der Gf<&Be des KCaricov blankets nir die fid^ 
Fa^ daB zwisdienzwdfeWendCT Werten Nauldna 

den Unbekannten aufbricht und daB wdtere Werte der Zeitrahe deshalb nicht beriicksidhtigt werden mussen. 

Das Probenziehen fOrzukfinftige Werte ist nach dem erfindungsgemaBen VerfahrenbesonderaeurfacIuEs ist 
jedoch m beachten, daB es so nicht fur deterniinistische Systeme funktiomert Durch die erfmdangsgemfiBe 
Voigehensweise wild cine besonders einfache LBsung fflr diese besonders kompliziert erscneinenden Sachver- 
hafte gefunden. Fur die Vorhersage der Werte der Zehrenie werden die nacb der entsprechendea Vertdlnng 
gezogenen Werte substituted: und die Prognosen davon gemittdt, welches nach dem erfindungsgemaBen 
Verfahren den fehlenden Wert ergfot Bdm Training des Netzes wird beispielsweise der Durchsdmitt der 
FeMergradientengebildet, indem zu deren Berechmmg die Werte der Zdtrdheverwendet werden, wdche mit 
den Proben bestimmt wwden. Beim Ziehen der Proben nach do- Monte-Carlo-Methode kann beispidswdse wie 

Es soflen beispidswdse K-^dwitte in der Ztofain^ 
dem oben besprochenen deichungen bedeutet dies, daB die Werte yt-u , yt-*+t fdilen, und daB unter 
diesen Voraussetzungen y* vorhergesagt werden soffi. Unter diesen Voraussetzungen ist die Monte Carlo 
Methode sehr einfach. Znnfichst muB bdspidswdse von der Verteihing P (yt-K.+i | yt-K, * . . . yc-&-N) eine Probe 
gezogen werden. Diese Probe wird wit yi-t+i* bezeichnet Mit dieser Probe und den vorangegangeiieu 
Messungen wird beispielsweise dne weitere Probe yt-fc+2 aus der Verteihing P(yt-K+2 I Yt-K+i*^.. * 
yt-ic+i-N usw. bis jede Probe for jede Unbekannte erzeugt wuide. Wean man diese Prozedur S-mal wiederholt, 
soernaJtman 



Die experbnentdlen Befunde haben gezdgt daB das eifinchmg sgemaB e Verfahren sdbst bd wedgen Proben 
vid besser arbdtetals die bisher verwendeten nummsdien LOsungsverfahren. 
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Patentansprflche 

1. Verfahren zur Aufberdtung dner EngangsgroBe dues neuronalen Netzes mit folgenden Merkmalen: 

a) es wild eine Zdnxihe aus emer Menge von MeBwerten der variablen EngangsgrSBe gebildet, mdem 
die Eingangsgr6Be zu <fiskreten Zeitpunkten bestinunt wild; k ^ 

b) von dnem den MeiBwerten Qberiagerten unkorrelierten Rauschm endlicher Vananz, das un zeufi- 
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chen Mittef Null ist, wird die statistische Ranschverteihmg ermtttelt und/oder vorgegeben; 
c) etn fehlender MeBwert in der Zeitreihe wird als Fehiwert anfbereitet, indem mtndestens aus emem 
dem Fehiwert in der Zeitreihe benachbarteu MeBwert nach der bekannten staiistischen Rauscbvertei- 
lung dessen statistische Fehlwert-Rausdiverteilung beredinet wird und der Fehiwert berechnet wird, 
indem gemgB der Fehhvert-Rauschverteilung mtndestsos zwei Monte-Carfo-Proben des Fehlwertes 
gezogen werden, welche den Fehiwert ersetzea, 
2. Verfahren nach Anspruch 1, bei dem ein vorherzusagetider Fehiwert in der Zeitreihe als Prognosewert 
bestimmt wird, indem fQr den Fehiwert mehrere Monte-Cario-Proben gezogen mid deren Prognosewerte 
bestimmt werden, und der Prognosewert als arithmetrisches Mittel aos alien fiber die Proben bestimmten 
Prognosewerte berechnet wird 

3* Verfahren nach Anspruch 1 oder2, bei dem von zwei fehlenden und immitteibar benachbarten Mefiwer- 
ten der Zeitreihe zonSchst der Erste aufberehet wind and iin Anschlufi daran unter Zuhflfenahme des zuerct 
anfberettetea der Zweite bestimmt wird 

4. Verfahrea nach einem der AnsprGcfae 1 bis X welches rnehrfadiausgefuhrtwird 

5. Veifahren nach einem der AnsprGche 1 bis 4, bei dem das neoronale Nets anhaiw f der Zeitreihe mit dem 
dutch <&ese reprasentierten Verhalten eines technischen Systems trainiert wird, wobei bei einem Lernscbritt 
bei der Bacfcpropagation die Lemschrittwerte far die aitf 1 normierten I5ngangsgrd8en des neuronalen 
Netzes zu<U dividiert durch die Anzahl dergezogenen Monte-Cario-Proben festgelegt wind 

6. Verfahren nach einem der Anspriiche 1 bis 5» bei dem als statistische Ranschvertething eine GauSvertet* 
lung verwendet wird. 20 

7. Verfahren nach einem der Anspriiche 1 bis 6 mit einer Zeitreihe der Form: 

yt « f(yt-i,yt-*...,yt-w) + <k (la) 

mit: st: statistische Rauschverteihmg 25 
y: MeBwerte der Zeitreihe 

yt:vom neuronalen Netz vorherznsagender Fehiwert 

bei der die Function f bekannt ist oder dnrch das neoronale Netz modeffiert wird und die statistische 
Fehlerverteilungsdichte zuz 

P«(yt-i -fC/t-i-yt-a-.Myt-N))=== PC^^l^-Lyt-^.-.yt-N) (2a) 

bestimmt wird woraus die Monte-Carlo- Proben yt-k 1 * • • - , yt-k* gezogen werden und skh etn erwarteter 
vom neuronalen Netz vorherznsagender Fehiwert mit den gezogenen Proben zuz 

ergibt 

mifcy t -kfehlender Mefiwert in der Zeitreihe k ^ N 
m: afle bekannten MeBwerte der Zeitreihe 
S; Anzahl der Proben. 

8. Verfahren nach einem der Anspriiche 5 bis 7, bei dem das neoronale Netz mit mindestens emem 45 
aufbereiteten Wert nach folgender Lernfunktion trainiert wind: 



35 



3L 



50 



mit: w: Neuronengewichtung 

L: logarithmische Wahrscheinfidikeitsfiinktiou 

TjiLernfaktor 55 
wobei gilt: 

mit: NN W : Werte der Funktion aus dem neuronalen Netz 

wobei fQr yi s MeBwerte der Zeitreihe Verwendung finden und falls ein Wert nicht vorhanden ist aus der 
Wahrscheinlichkeitsverteilungsdichte: & 
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Monle-Carlo-Proben gezogen werden mit 
in : alle beksxmten MeBwerte der Zeitreihe. 

9. Verfahren nach Ansproch 6,bei demdas neuronalc Netz rait mindestens eincm aufberciteten Wert naca 
folge&der Lernfnnktion traimertwird: 

8L 

wobei gilt: 

SL 14,^,,. ^ fv , ^ ,,3NN-(y»--^) 
3^ sS^" " (yM, ~' yU,) 

mfcNNw: Werte der Fanktkmans dem neuronalen Netz wobei fDr MeBwerte der Zehrdhe Verwendnng 
ftidea un4 falls em Wen nidit vorhan^ 

pM&My") 

Monte-Carlo- Proben gezogen werden mit: 

ra:aUebekaimten MeBwerte der Zeftrefre. . 

la Verfahren nacb Anspnich 7, bei dem die statisriscbe Rauschratcihmg der MeBwerte nicht bekHimt ist 

and die MeBwerte von einero weiteren Rauscben flberiagert werden, dessen statistcsctae Rauschvertcibiiig 

bekaimtist;odervorgegebenwinl,initeinCT 

z* - yt + « « fl&r«-i,yt^4— *yk-N) + si (ta*) 

mit: et= unbekamUe statisrische Rauschverteflmig 
St: bekannle statistzsche Raoschverteikmg 
y : MeBwerte der Zeitreihe 

y t : vom nenronalen Netz vorherzusagender Fehlwert 
bei derdtestatistiscbe FehleryerteitangscSdite zu: 

P«^t-i-yt-a—yt-N})^ P(y*|yt-i,yt«a»-.yt-N) (2a*) 

bestSmmt wird end cfie Gesamtwahi^dieinikAkehsdt^ fiber die Zeitreihe mit: 



bestimmt wird, so daB sn* em erwarteter vom neuronalen Nets vorherzusagender Fehlwert aus mindestens 
eiaem aofbereiteten Wert zu: 

BCyth) f8^t-u---yt-.N)P(sft-i,-«tyt-N|z»4srt-u.-.5dyi-N (**) 
ergibt, wobei fGr 

P(yt-u-— yt-w|2> 

entsprechend Monte-Cario-Proben gezogen werden. _ . . 

11. Verfabrea nach den AnsprBchen 10 und^beidemdasiieuronale Netz mit folgender Lernregd tramiert 
wird: 

dL 

mit: w: Neuronengewicfatoog 

L: logarithmische Wahrschemfichkehsftmktkm 

r\: Lernfaktor 

und 
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Hterzu 2 Scite(n) Zdchnungen 
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